Baldwin sinh ra ở Massapequa, New York, là con trai út của Carol Newcomb (nhũ danh Martineau) và Alexander Rae Baldwin, Jr., một giáo viên nghiên cứu xã hội trung học và huấn luyện viên bóng đá.[2] Các anh trai của Baldwin là các diễn viên Alec, Daniel và William, được gọi chung là " anh em nhà Balwin ". Ông được nuôi dưỡng trong đức tin Công giáo.[3] Ở trường trung học, Baldwin tham gia vào đội đấu vật varsity, cùng với William.[4] Baldwin có hai chị em, Elizabeth Keuchler và Jane Sasso.[5] Baldwin tham dự Học viện Nghệ thuật Sân khấu Hoa Kỳ.[6]